Do Audio Language Models Hear and Read Distinctive Features Alike?
音频语言模型听与读区分特征是否一致？
🧭 跨模态表征一致性分析 · 音频语言模型
Thayer School of Engineering, Dartmouth College
通过最小音素对差分方向，发现仅 Qwen2.5-Omni 的 voicing 跨模态对齐显著，且模型家族决定表征一致性
📌 工作参考价值（4 点）
- 评估多模态 LLM 的跨模态对齐时，不要只看余弦相似度的绝对值：任意音素对的基线一致性已经很高，必须构建随机配对参考做显著性检验，否则会高估对齐程度。
- 模型家族比模型规模更能影响表征对齐，选型多模态底座时应优先评测家族特性而非参数量。
- 最小对差分方向法可迁移到电商场景：如评测模型是否将“红色/蓝色”“棉/麻”等属性在文本与图像/语音中编码为同一方向，用于诊断多模态 embedding 的属性一致性。
- 注意不同模型 reference 差异可达 7 倍，对齐结论不能跨模型直接比较，需要各自标定基线。